ReflectRL: Learning from Golden Negative Trajectories via Reflective-to-Direct Reasoning
ReflectRL：从专家失败轨迹中学习反射推理以提升策略训练
🧭 强化学习 · 反射推理训练 ★ 深度解读
National University of Singapore · Ludwig Maximilian University of Munich · Technical University of Munich · Nanyang Technological University · Peking University
利用专家模型失败轨迹（黄金负样本）进行反思式推理，并通过策略过渡将能力迁移至直接推理
📌 工作参考价值（4 点）
- 利用高质量负样本作为反思提示：在搜索推荐场景，可将高置信度负反馈（如用户未点击的精选商品）作为“反思上下文”引入策略训练，引导模型显式分析失败原因并纠正，提升困难样本的利用效率。
- 反射到直接的训练过渡：采用余弦衰减等平滑调度，将反思式提示逐步替换为直接提示，使模型内化纠错能力，最终无需额外上下文即可产出高质量决策，适用于RLVR和蒸馏范式。
- 轻量级即插即用：无需新增模型、参数或梯度，仅通过预先生成的负样本轨迹和模板切换实现，工程实现成本低，可直接嵌入现有 on-policy 训练管线。
- 缓解熵坍缩、缩短推理长度：反射训练能维持策略探索度，避免过早收敛，同时在推理时生成更简洁的决策链，有助于降低在线服务延迟。